Frederick Smith sinh ra tại Marks, Mississippi. Ông là con trai của James Frederick Smith, người sáng lập chuỗi nhà hàng Toddle House và Smith Motor Coach Company (đổi tên thành Dixie Greyhound Lines sau khi The Greyhound Corporation mua quyền kiểm soát vào năm 1931).[2] Smith Snr. qua đời khi cậu con trai Fred Smith chỉ mới được 4 tuổi và cậu bé được mẹ và các chú nuôi dưỡng.[3]

Smith bị què quặt vì bệnh xương khi còn nhỏ nhưng đã hồi phục sức khỏe năm lên 10 tuổi.[4]

Smith rất thích bay và ông trở thành một phi công nghiệp dư khi vẫn đang còn là một thiếu niên. Ông học tiểu học tại trường ngoại trú Presbyterian và trường cao trung tại một trường trực thuộc đại học Memphis.

Năm 1962, Smith gia nhập Đại học Yale. Trong khi theo học tại Yale, ông đã viết một bài báo cho một lớp học kinh tế, phác thảo dịch vụ giao hàng qua đêm trong thời đại thông tin máy tính. Dân gian đồn đại rằng ông đã nhận được điểm C cho bài báo này, mặc dù trong một cuộc phỏng vấn sau đó, ông đã nói với một phóng viên: "Tôi không biết là mấy điểm, có lẽ là tôi nhận được C thông thường của tôi", trong khi những câu chuyện khác cho rằng giáo sư của ông từng nói với ông rằng, để có thể có được điểm C thì ý tưởng phải khả thi. Bài báo đã trở thành ý tưởng của FedEx (trong nhiều năm, gói mẫu được hiển thị trong quảng cáo in của công ty có địa chỉ trả lại tại Yale). Smith đã trở thành một thành viên và cuối cùng là chủ tịch của phường hội Delta Kappa Epsilon (DKE) và hội kín Skull and Bones.[5][6] Ông nhận bằng cử nhân kinh tế năm 1966. Trong những năm theo học đại học, ông là một người bạn và huynh đệ trong hội DKE của George W. Bush.[7] Smith cũng là bằng hữu của John Kerry và chia sẻ sự yêu thích dành cho ngành hàng không với Kerry[8] và cả hai từng là bạn bay với nhau.